草庐IT

Android Endless list 内存管理

全部标签

python - xml.etree.ElementTree iterparse() 仍在使用大量内存?

我一直在尝试使用iterparse来减少需要处理大型XML文档的脚本的内存占用。这是一个例子。我编写了这个简单的脚本来读取一个TMX文件并将其拆分为一个或多个输出文件,使其不超过用户指定的大小。尽管使用了iterparse,但当我将一个886MB的文件拆分为100MB的文件时,脚本会耗尽所有可用内存(使用我的8MB中的6.5个时,它会爬行)。我做错了什么吗?为什么内存使用率这么高?#!/usr/bin/python#-*-coding:utf-8-*-importargparseimportcodecsfromxml.etree.ElementTreeimportiterparse,t

asp.net-mvc - 如何将内存中的 xml 文档作为附件流式传输到 asp.net mvc 站点

我认为MVC应该让这一切变得更容易,但我正在尝试各种方法并遇到问题。如果我尝试接受这个问题的答案(相应地更改内容类型)...HowtocreatefileandreturnitviaFileResultinASP.NETMVC?...我遇到了麻烦,因为我在xml文件中的编码是UTF-16。我得到的错误是:不支持从当前编码切换到指定编码。这表明我需要在某处告诉MVC我想要UTF-16。或者,我想要一种使用二进制而不是文本的不同方法。 最佳答案 这就是我要解决的问题:publicFileStreamResultDownloadXML()

c# - .NET 中的 XML 数据管理

我正在学习.NET中的Xml数据处理。我有以下XML格式。book1author110.901985book2author220.901995我需要学习向XML文件添加/编辑/删除新书。您能否指导我探索这些功能的所有类。我发现很多类,如XmlDocumentXmlTextWriter等。一些网站也建议使用LINQ。我对去哪一个感到困惑。有没有什么好的资料可以引用了解这个。 最佳答案 下面是使用LINQtoXML添加和删除元素的示例://loadtheXMLfileintoanXElementXElementxml=XElement.

c# - C# 解决方案资源管理器中的 XML 文件

我有一个3D对象及其数据点。数据由1000个点组成。以下为数据点。publicstaticListOpenProject(string_file){ListLines=newList();XmlDocumentdoc=newXmlDocument();doc.LoadXml(_file);XmlNodeListcoordinates=doc.SelectNodes("/Siene/MyLine/Coordinates");foreach(XmlNodecoordinatincoordinates){intx1=Int32.Parse(coordinat["Start"].Attribu

c - xmlCopyNode (libxml2) 内存泄漏?

我在C/Linux上使用libxml2从xml文件中提取信息。我创建了一个函数来查找某个标记的第一次出现并返回该标记的副本。例如给定以下xml文本:FirstoccurrenceoftagbChildnodeSecondoccurrenceoftagb我想提取第一个标签,如果存在,则包含所有子标签。这是我使用的代码的简化版本:#include#include#include#include#include#ifdefLIBXML_TREE_ENABLEDstaticintxml_extract_first_occurrence_by_name(xmlNode*start_node,xm

c# - "Root element not found"- 读取内存流时

我有一个存储在列表中的类。我连载它...XmlDocumentxd=newXmlDocument();MemoryStreamms=newMemoryStream();XmlSerializerxm=newXmlSerializer(typeof(List));xm.Serialize(ms,_bugs);StreamReadersr=newStreamReader(ms);stringstr=sr.ReadToEnd();xd.Load(ms);我查看了str并发现它是空的,但是该集合有一个对象。对于为什么会发生这种情况有什么想法吗? 最佳答案

c# - 在不加载到内存的情况下处理 xml

如果我不能将整个文件加载到内存中,那么处理XML的最佳方法是什么? 最佳答案 使用XmlReader并逐个元素地处理。 关于c#-在不加载到内存的情况下处理xml,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/5547119/

java - 在 30GB XML 数据集上搜索正则表达式模式。使用16GB内存

我目前有一个JavaSAX解析器,它正在从一个30GB的XML文件中提取一些信息。目前是:读取每个XML节点将其存储到一个字符串对象中,在字符串上运行一些正则表达式将结果存入数据库对于数百万个元素。我在具有16GB内存的计算机上运行它,但内存没有得到充分利用。有没有一种简单的方法可以从输入文件中动态“缓冲”大约10gb的数据?我怀疑我可以手动采用“生产者”“消费者”多线程版本(在一侧加载对象,使用它们并在另一侧丢弃),但是该死的,XML现在很古老,没有有效的库吗紧缩他们? 最佳答案 简单说一下,Java可以使用您的16GB内存吗?您

c - R XML - 无法从内存中删除内部 C 节点

我必须解析大约2000个xml文档,从每个文档中提取某些节点,将它们添加到单个文档中,然后保存。我正在使用内部C节点,以便我可以使用XPath。问题是,当我遍历文档时,我无法从内存中删除内部C对象,最终使用了>4GB的内存。我知道问题不在于加载的树(我只是通过加载和删除每个文档的哈希树来运行循环),而在于过滤的节点或根节点。这是我使用的代码。我缺少什么以便在每次迭代结束时清除内存?xmlDoc谢谢你的帮助 最佳答案 所以我发现没有办法使用“XML”来做到这一点而不会出现内存泄漏和大量处理时间。幸运的是,“xml2”现在可以处理创建文

c# - 如何有效地使用内存附加到 C# 中的大型 XML 文件

有什么方法可以合并两个XmlDocument而无需在内存中保留第一个?我必须循环遍历多达一百个大型(~300MB)XML文件的列表,每个文件最多附加1000个节点,重复整个过程几次(因为新节点列表被清除以节省内存)。目前我加载了整个XmlDocument在添加新节点之前先写入内存,目前这是不可行的。您认为解决此问题的最佳方法是什么?我有一些想法,但我不确定哪个是最好的:永远不要加载整个XMLDocument,而不是使用XmlReader和XmlWriter同时写入随后重命名的临时文件。制作XmlDocument仅适用于新节点,然后手动将其写入现有文件(即file.WriteLine("